Über- und Unterschätzung von Erfolgsquoten

Zusammenfassung

Bei Interventionsstudien werden häufig Fragebögen zur Erfassung von patient reported outcomes eingesetzt. Bei indirekter Veränderungsmessung kann man die Probanden in „Erfolgreiche“ und „Erfolglose“ einteilen, indem man eine kritische Schwelle der Messwertdifferenzen (minimal important difference, MID) definiert. Wegen der unvermeidlichen Messfehler kommt es zu Fehlklassifikationen. Falsch Positive und falsch Negative gleichen sich dabei in der Regel nicht aus: Liegt die MID über der durchschnittlichen Differenz, werden die Erfolge überschätzt. Liegt die MID unter der durchschnittlichen Differenz, werden die Erfolge unterschätzt. Der Fehler kann erheblich sein. Unter den Annahmen der klassischen Testtheorien lässt sich der Anteil der wahren Erfolge berechnen. Es wird ein neues, einfaches Rechenverfahren vorgestellt, das messfehlerbereinigte Erfolgsquotenschätzungen vornehmen kann. Anhand von echten Daten werden die Konsequenzen des Verfahrens demonstriert. Es wird empfohlen, diese wahren Erfolge anzugeben. Dies gilt auch für Vergleiche mit Kontrollbedingungen.

Abstract

The patient reported outcome in interventional studies is often measured with questionnaires at baseline and after the intervention. A person whose difference in outcome exceeds a critical threshold (the minimal important difference, MID) is classified as a responder, otherwise as a non-responder. The generally low reliability of differences causes misclassifications. False posi­tives and false negatives usually do not cancel out: an MID above the average difference results in an overestimated proportion of responders, while an MID below the average difference results in an underestimated proportion of responders. Such misclassifications can be substantial. We introduce a new and simple method for estimating the true proportion of responders which is based on the assumptions of classical test theory. The consequences of the method are demonstrated with empirical data. It is recommended to report the estimates of true responders. This applies to settings with one study group as well as to settings with an additional control group.

Schlüsselwörter

Responderanalyse - klinische Relevanz - wahre Veränderungswerte - Verständlichkeit von Studienergebnissen

Key words

responder analysis - minimal important difference - true change scores - intelligibility of study results

• Literatur

• 1 Ferreira M, Herbert R, Ferreira P et al. A critical review of methods used to determine the smallest worthwhile effect of interventions for low back pain. J Clin Epidemiol 2012; 65: 253-261
• 2 Sloan J, Cella D, Frost M et al. Assessing clinical significance in measuring oncology patient quality of life: Introduction to the symposium, content overview, and definition of terms. Mayo Clin Proc 2002; 77: 367-370
• 3 Guyatt G, Osoba D, Wu A et al. Methods to explain the clinical significance of health status measures. Mayo Clin Proc 2002; 77: 371-383
• 4 Cella D, Bullinger M, Scott C et al. Group vs. individual approaches to understanding the clinical significance of differences or changes in quality of life. Mayo Clin Proc 2002; 77: 384-392
• 5 Sloan J, Aaronson N, Cappelleri C et al. Assessing the clinical significance of single items relative to summated scores. Mayo Clin Proc 2002; 77: 479-487
• 6 Frost M, Bonomi A, Estwing Ferrans C et al. Patient, clinician, and population perspectives on determining the clinical significance of quality-of-life scores. Mayo Clin Proc 2002; 77: 488-494
• 7 Sprangers M, Moinpour C, Moynihan T et al. Assessing meaningful change in quality of life over time: A users’ guide for clinicians. Mayo Clin Proc 2002; 77: 561-571
• 8 Symonds T, Berzon R, Marquis P et al. The clinical significance of quality-of-life results: Practical considerations for specific audiences. Mayo Clin Proc 2002; 77: 572-583
• 9 Gatchel R, Lurie J, Mayer T. Minimal clinically important difference. Spine 2010; 35: 1739-1743
• 10 Tubach F, Ravaud P, Martin-Mola E et al. Minimum clinically important improvement and patient acceptable symptom state in pain and function in rheumatoid arthritis, ankylosing spondylitis, chronic back pain, hand osteoarthritis, and hip and knee osteoarthritis: Results from a prospective multinational study. Arthritis Care Res 2012; 64: 1699-1707
• 11 Walter SD, Irwig L. Estimating the number needed to treat (NNT) index when the data are subject to error. Stat Med 2001; 20: 893-906
• 12 Hartung J, Elpelt B, Klösener KH. Statistik: Lehr- und Handbuch der angewandten Statistik. München: Oldenbourg; 1982
• 13 Rogosa D, Brandt D, Zimowski M. A growth curve approach to the measurement of change. Psychological Bulletin 1982; 92: 726-748
• 14 Morfeld M, Möller J, Fox M et al. Kognitiv-verhaltenstherapeutische Intervention während der stationären Anschlussrehabilitation – Programmatik und Wirksamkeit. In: Deck R, Raspe H, Koch U. Hrsg Rehawissenschaftliche Forschung in Norddeutschland. Norddeutscher Verbund für Rehabilitationsforschung. Ergebnis sechsjähriger Forschungsarbeit. Lage: Jacobs Verlag; 2007: 91-118
• 15 Jensen M. The validity and reliability of pain measures in adults with cancer. J Pain 2003; 4: 2-21
• 16 Ostelo R, Deyo R, Stratford P et al. Interpreting change scores for pain and functional status in low back pain. Towards international consensus regarding minimal important change. Spine 2008; 33: 90-94
• 17 Dworkin R, Turk D, Wyrwich K et al. Interpreting the clinical importance of treatment outcomes in chronic pain clinical trials: IMMPACT recommendations. J Pain 2008; 9: 105-121
• 18 Mesrian A, Neubauer E, Schiltenwolf M. Gutes Therapieergebnis nach Behandlung chronischer Rückenschmerzen. Wie viel Schmerzreduktion ist klinisch relevant?. Schmerz 2007; 21: 212-217
• 19 Hüppe A, Glaser-Möller N, Raspe H. Trägerübergreifendes Projekt zur Früherkennung von Rehabilitationsbedarf bei Versicherten mit muskuloskelettalen Beschwerden durch Auswertung von Arbeitsunfähigkeitsdaten: Ergebnisse einer randomisierten, kontrollierten Evalua­tionsstudie. Gesundheitswesen 2006; 68: 347-356
• 20 Kohlmann T, Raspe H. Der Funktionsfragebogen Hannover zur alltagsnahem Diagnostik der Funktionsbeeinträchtigung durch Rückenschmerzen (FFbH-R). Rehabilitation 1996; 35: I-VIII
• 21 Raspe H, Hagedorn U, Kohlmann T et al. Der Funktionsfragebogen Hannover (FFbH): Ein Instrument zur Funktionsdiagnostik bei polyartikulären Gelenkerkrankungen. In: Siegrist J. Hrsg Wohnortnahe Betreuung Rheumakranker. Stuttgart: Schattauer; 1990: 164-182